Theo kế của Phạm Tăng, Hạng Vũ mời Lưu Bang dự Yến Hồng Môn định kể tội chống đối và giết chết. Khi Lưu Bang đến hội, Phàn Khoái và Trương Lương đi theo hộ tống. Đến nơi, ông được lệnh ở ngoài, chỉ có Lưu Bang và Trương Lương vào dự tiệc.

Phạm Tăng thấy Hạng Vũ không quyết đoán giết Lưu Bang, bèn sai Hạng Trang múa gươm làm trò vui để nhân tiện đâm Lưu Bang. Hạng Bá là bạn Trương Lương, không nỡ giết Lưu Bang nên đứng dậy múa gươm che đỡ, nhưng Lưu Bang vẫn gặp nguy. Trương Lương vội ra gọi Phàn Khoái vào cứu.

Phàn Khoái mang kiếm, cắp khiên bước vào cửa viên môn. Vệ sĩ cầm giáo chéo nhau muốn cản không cho vào, ông cầm ngang cái khiên gạt ra, vệ sĩ ngã lăn ra đất. Phàn Khoái liền vào, vén màn đứng, trợn mắt nhìn Hạng Vũ, Hạng Vũ giật mình chống kiếm quỳ nhổm dậy. Khi hỏi ra biết ông là tướng của Lưu Bang, Hạng Vũ liền sai lấy rượu thịt cho ông. Ông đứng ăn uống tại chỗ, một tay vẫn cầm gươm thế thủ rồi nói với Hạng Vũ:

Vua Tần lòng lang dạ thú giết người nhiều không kể xiết, trị tội người như sợ không kịp. Thiên hạ đều nổi dậy làm phản. Vua Hoài Vương có giao ước với các tướng: "Ai phá được Tần, vào Hàm Dương thì phong vương". Ngày nay Bái Công là người đầu tiên phá được Tần, vào Hàm Dương, tơ hào không dám phạm, niêm phong các cung thất, đem quân về đóng ở Bá Thượng để chờ đại vương đến. Bái Công sai tướng giữ cửa ải là chỉ để đề phòng bọn trộm cướp ra vào và những việc bất trắc mà thôi. Bái Công khó nhọc mà công to như vậy, nhưng vẫn chưa được phong thưởng gì! Nay đại vương nghe lời bọn tiểu nhân, muốn giết kẻ có công, tức là noi theo đường lối nhà Tần đã mất! Tôi trộm nghĩ đại vương không nên làm như vậy!

Hạng Vũ chưa biết đáp ra sao, chỉ biết lệnh cho ông ngồi xuống. Một lát, Lưu Bang đứng dậy đi ra ngoài, nhân đó gọi Phàn Khoái ra. Hạng Vũ sai Trần Bình mời Lưu Bang vào. Lưu Bang lo lắng hỏi ông có nên đi khi chưa từ biệt hay không. Phàn Khoái nói:

Làm việc lớn thì không để ý đến những điều vụn vặt; làm lễ lớn không câu nệ những điều nhỏ. Nay người ta là dao là thớt, ta là cá là thịt, từ biệt làm gì?

Lưu Bang bèn ra đi. Hai người thừa cơ trốn thoát, nhờ Trương Lương dùng kế biện bạch giữ chân quân Hạng Vũ.